神经网络基础：感知机、前馈神经网络（Feedforward Neural Network）。
    感知机：感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。也称为阈值逻辑单元（threshold logic unit）

激活函数：
    http://t.csdnimg.cn/NbN4I
    饱和激活函数（趋近于0）和非饱和激活函数：
    1.sigmoid
    2.Tanh
    3.Relu
    4.Leakey Relu
    5.PRelu
    6.RRelu
    7.ELU
    8.SELU
    9.CELU
    10.GELU
    11.RELU6
    12.Swish
    13.Hardswish
    14.Silu
    15.Softplus
    16.Mish
    17.Softmax

损失函数:衡量模型输出与真实标签的差异；
    http://t.csdnimg.cn/AmML3
    1、nn.CrossEntropyLoss(交叉熵损失）
    2、nn.NLLLoss
    3、nn.BCELoss
    4、nn.BCEWithLogitsLoss
    5、nn.L1Loss
    6、nn.MSELoss
    7、nn.SmoothL1Loss
    8、PoissonNLLLoss
    9、nn.KLDivLoss
    10、nn.MarginRankingLoss
    11、nn.MultiLabelMarginLoss
    12、nn.SoftMarginLoss
    13、nn.MultiLabelSoftMarginLoss
    14、nn.MultiMarginLoss
    15、nn.TripletMarginLoss
    16、nn.HingeEmbeddingLoss
    17、nn.CosineEmbeddingLoss
    18、nn.CTCLoss

    http://t.csdnimg.cn/EVyHF



优化算法：
https://blog.csdn.net/qq997843911/article/details/83445318?sharetype=blogdetail&sharerId=83445318&sharerefer=PC&sharesource=2401_83212910&sharefrom=from_link
https://blog.csdn.net/a910247/article/details/137354786?sharetype=blogdetail&sharerId=137354786&sharerefer=PC&sharesource=2401_83212910&sharefrom=from_link
https://lcqbit11.blog.csdn.net/article/details/103175179?sharetype=blogdetail&sharerId=103175179&sharerefer=PC&sharesource=2401_83212910&sharefrom=from_link
    1. 梯度下降（Gradient Descent）类算法
        批量梯度下降（Batch Gradient Descent）：使用整个训练数据集计算梯度。

        随机梯度下降（Stochastic Gradient Descent, SGD）：每次使用一个样本计算梯度，更新频繁。

        小批量梯度下降（Mini-Batch Gradient Descent）：每次使用一小批样本计算梯度，介于批量和随机梯度下降之间。

    2. 带动量的梯度下降（Momentum-based Methods）
        带动量的梯度下降（Momentum）：在梯度下降中引入动量项，加速收敛。

        Nesterov加速梯度（Nesterov Accelerated Gradient, NAG）：在更新前先计算梯度，结合动量的优势。

    3. 自适应学习率算法（Adaptive Learning Rate Methods）
        AdaGrad（Adaptive Gradient Algorithm）：根据每个参数的梯度历史自适应调整学习率。

        RMSProp（Root Mean Square Propagation）：对AdaGrad的改进，通过移动平均减小过早衰减学习率的影响。

        Adam（Adaptive Moment Estimation）：结合了动量和RMSProp的优势，使用一阶矩（均值）和二阶矩（方差）的估计。

    4. 优化算法的变体和增强版
        AdaMax：Adam算法的一种变体，使用无穷范数代替二阶矩。

        Nadam：结合了Nesterov加速梯度的Adam变体。

        FTRL（Follow The Regularized Leader）：用于大规模在线学习，结合了L1和L2正则化。

        Rprop（Resilient Propagation）：不依赖于梯度的绝对值，而是只考虑梯度的符号变化来调整步长。

    5. 二阶优化方法（Second-Order Methods）
        牛顿法（Newton's Method）：利用二阶导数（海森矩阵）加速优化过程。

        拟牛顿法（Quasi-Newton Methods）：

        BFGS（Broyden-Fletcher-Goldfarb-Shanno）：一种常见的拟牛顿法。

        L-BFGS（Limited-memory BFGS）：适用于大规模优化问题，存储有限的海森矩阵近似。

    6. 其他
        Coordinate Descent：逐步优化每个参数，通常在高维稀疏问题中使用。

        Genetic Algorithms：基于自然选择和遗传学原理的优化方法。

        Simulated Annealing：模拟物理退火过程的优化算法。

        Particle Swarm Optimization (PSO)：模仿鸟群觅食行为的优化算法。

卷积神经网络（CNN）：卷积层、池化层、卷积核、特征图。